其他
复旦邱锡鹏超全NLP预训练模型综述论文:两张图带你梳理完整脉络
机器之心编辑部
超全预训练语言模型概览,入门学习、搭建知识体系、找文献资料、找资源代码,这里有 NLP 预训练模型的方方面面。
首先简要介绍了语言表示学习及相关研究进展;
其次从四个方面对现有 PTM 进行系统分类(Contextual、Architectures、Task Types、Extensions);
再次描述了如何将 PTM 的知识应用于下游任务;
最后展望了未来 PTM 的一些潜在发展方向。
预训练方法(PTM)使用的词表征类型;
预训练方法使用的主干网络;
PTM 使用的 预训练任务类型;
为特定场景与输入类型所设计的 PTM。
替换 token 检测(Replaced Token Detection,RTD)与 NCE 相同,但前者会根据上下文语境来预测是否替换 token。
顾名思义,NSP 训练模型以区分两个输入句子是否为训练语料库中的连续片段。
SOP 使用同一文档中的两个连续片段作为正样本,而相同的两个连续片段互换顺序作为负样本。